Xhaka khởi nghiệp bóng đá tại Concordia Basel và chuyển đến FC Basel năm 2002. Anh chơi cho nhiều lứa đội trẻ của Basel và từ 2008 đã trở thành thành viên chính trong đội U-21 trong hai năm tại Swiss 1. Liga. Đầu mùa bóng 2010-11, anh và em trai mình được đôn lên đội một và anh bắt đầu thi đấu ở vị trí hậu vệ. Anh có trận ra mắt đội một vào ngày 19 tháng 9 năm 2010 trong chiến thắng 5-0 tại Swiss Cup trước Mendrisio-Stabio.[4] Anh có trận ra mắt Super League vào ngày 27 tháng 2 năm 2011 trong chuyến làm khách thắng 1-0 trước Luzern.[5] Vào cuối mùa bóng anh có được chiếc cúp bạc đầu tiên cùng đội bóng khi Basel giành danh hiệu Super League.

Trong mùa bóng kế tiếp, Xhaka ghi bàn đầu tiên cho Basel vào ngày 10 tháng 9 trong chuyến làm khách thắng 4-0 trước Servette, nơi anh vào sân từ băng ghế dự bị.[6] Ngày 27 tháng 9, anh có trận ra mắt UEFA Champions League khi vào sân thay người trong trận hòa 3-3 trước Manchester United tại Old Trafford..[7] Ngày 18 tháng 1 năm 2012, có thông tin rằng Xhaka được đem cho mượn đến Grasshopper để lấy lại kinh nghiệm chơi bóng cho đội một..[8] He made his debut on 12 February during the 2–0 away defeat to Zürich,[9] Anh có trận ra mắt ngày 12 tháng 2 trong thắng lợi 2-0 trước Zürich, và đến cuối mùa bóng anh đã khẳng định vị trí trong đội hình xuất phát, có 13 lần ra sân trong giai đoạn hai của mùa 2011-12. Sau khi có thêm mùa 2012-13 chơi dưới dạng cho mượn tại Grasshoppers, Basel đã gọi anh trở lại thi đấu cho đội một.[10]